16 オノマトペを用いた脳波制御訓練手法による魔法ゲームシステム
https://scrapbox.io/files/6752b5d17c014611176983cf.png
16 オノマトペを用いた脳波制御訓練手法による魔法ゲームシステム
二瓶 朝渉(明治大学), 平野 怜旺(明治大学), 渡邊 恵太(明治大学)
本論文は，BCIを使用して魔法を発動する訓練をオノマトペで行うという前年のWISSのデモ発表のアイデアを元に，ゲームとして整えた上で，実験を行ったものである．実験の結果，多くの参加者は「魔法を使うという新しい体験を提供している」と感じており，特に，上手くなる過程が娯楽として面白いという反応をインタビューで得られていることが興味深い．BCIをゲームの入力に使う利点や，操作の上達を楽しめる条件など，幅広い議論を期待し，条件付き採録と判断された．
ブレインコンピュータインターフェイス（BCI）は，脳と外部機器の直接通信を可能にする技術である．脳波（EEG）ベースの非侵襲型BCIは，主に医療用途に利用されるが，ビデオゲームへの利用にも関心が高まっている．BCIを使ったビデオゲームは，プレイヤーに斬新で魅力的なモダリティを提供し，ゲームへの没入感を高める可能性がある．本研究では，オノマトペを用いた脳波制御訓練手法により，心的イメージで魔法を制御するビデオゲームを開発した．本システムでは，ユーザはBCIを装着し，魔法の視覚イメージとオノマトペを用いた発話イメージを同時に想起することで，魔法を操作することができる．本稿では，制御パフォーマンスとビデオゲームの体験の両方を評価することにより，本手法の有用性を検証した．その結果，本手法がBCI制御において一定の制御性能を示し，ビデオゲーム体験の向上に有用である可能性を示唆した．また，ゲームへの没入感や楽しさについても高い評価を得た．
論文：
参加者メモ・コメント：
HUAWEI MateViewか？！鈴木一平 (BONSAI STUDIO).icon
二瓶さんは2020年Unityインターハイのゴールドアワード受賞者です！unity.icon
きのう体験してきました．正答率5割ぐらいの体感でした．わりと楽しいくらもといたる.icon
操作性が悪いこと自体は実はそれほど不満じゃないんですが，「打ったつもりがないところで打っちゃう」のが（今のゲームデザインだと）うっかり得になっちゃうので，「打ってはいけない場所では打たない」とかの仕組みを入れたほうがいいのかなと思ってました．
「魔法を覚えたせいで制御できなくて暴走することもあるのだよ」的ななにか
「魔法、使いたくないですか？」鈴木一平 (BONSAI STUDIO).icon
魔法使いたいっすねKS00Max.icon
使いたいです三上浩司（mkmtut）.icon
wizard@（Ochyai先生のメアドの最初のやつやKS00Max.icon）
魔法使い「Hey, Siri!」yumu.icon
無詠唱魔法で最強になれるのを体感できるのは楽しい！Mao NAKANO.icon
「何って、無詠唱魔法を使っただけだが……？」]できるhogelog.icon
無詠唱魔法、自分も思いました！Kenta Yamamoto | BONSAI STUDIO.icon
https://scrapbox.io/files/675a4bcd38e986e064cafbe3.png
無詠唱魔法に惹かれる人が多数（私も）takahiro.hara.icon
これコンテキストに絞って顔とかの筋電とっても面白そう（手前味噌っぽいコメントですが）
単純に「魔法使いたいか」と問われると、普段我々が使っている各種デバイスはすでにかなり魔法っぽいんだよなぁkentarofukuchi.icon
なので、魔法が使えるようになると、すぐに慣れてしまうんだろうなぁ、とも思ったりする
何度トレーニングすると自然になるんですかねKS00Max.icon
もはやスマホくらいでは驚かないでしょ
高度に発達した科学は云々みたいな
今できないことを魔法として認識すると思うと、魔法の概念も科学の発展とともにアップデートされているのかも𥱋瀨洋平.icon
それはその通りで、例えば「念写」なんてのは、写真ができて初めて考えられるようになった魔法（超能力）だったりするkentarofukuchi.icon
UFO報告の変遷を追った研究書が参考になります
ゲームのクオリティすごい．USJのアトラクションみたいナレーションだ．（臼井）
ウィンガーディアム・レビオサー
急にリアル鈴木一平 (BONSAI STUDIO).icon
ナレーションがうまいblu3mo.icon
イケボ
ナレーション誰だろうKenta Yamamoto | BONSAI STUDIO.icon
本人です！！渡邊恵太.icon
ナレーションまでできるのか！𥱋瀨洋平.icon
すごい！！Kenta Yamamoto | BONSAI STUDIO.icon
近代の魔法の杖って頭につけるんですね（すっとぼけ）KS00Max.icon
これどこまでデバイスを小さくできるんでしょうか...
魔法を制御できなかったTatsuya NAGASAWA.icon
上達する人の話を聞くとじわじわかわいそうになってくる。Tatsuya NAGASAWA.icon
「1人は全く魔法を制御できなかったので」鈴木一平 (BONSAI STUDIO).icon
制御できないタイプの人が物語のキーマンになりがちな気がします
そういえばMATLABってシリアルIO遅いイメージだったけど今回のデータはそんなに問題ないのかしら鈴木一平 (BONSAI STUDIO).icon
内言の有無など、色々パターン欲しい（内言なしでイメージのみの作品などもあるし）Kenta Yamamoto | BONSAI STUDIO.icon
ワンピースの技やりたいです
制御できなかった人は何が原因だったんだろ
個人的には「高速詠唱」に憧れる派です。ソノヤマタカスケ.icon
ていうか、プレゼンの高速詠唱感が（笑）
魔法の詠唱を代わってくれるデバイスみたいなのに憧れたりするけど、現実でやるともはや魔法感が薄れそうhogelog.icon
電気魔法のオノマトペは「ビリビリ」がしっくりくるかなあ。ソノヤマタカスケ.icon
2回目で下がって、3回目で上がるのが不思議ですね。seiki.icon
めちゃくちゃおもしろいですねこれ！！yuiseki.icon
「炎を出して」と「メラメラ」を念じて成功率を比較するみたいな評価はしなくて良い？前の研究成果だからもうわかってること？ narumi.icon
比較対象がない実験で「アンケートの結果が良い」と言うのは無理があるかもしれない（BCIの装置をつけてゲームをしたらどういうアプローチでも楽しいのでは？） narumi.icon +1
2回目はうまくやろうとして突飛な方法を試したのかな？たくさん試行錯誤すると途中で下がるときがあるというのは過去の実験でもあったのですが3回だと何とも言えないかな
楽しいとかイライラとかが脳波に出て認識に影響を与えるとかもあるのかな西田健志.icon
昨日デモ体験しました。キャリブレーションが不十分だからかもしれませんが、メラメラでもタラタラでも何も考えなくてもエフェクトが発動されました。これはきちんとした評価実験をやらないといけないと思います。本当にオノマトペによってエフェクトが発動されているのかが現状では信頼性が低いと思います。koike.icon
質疑を書いてからこちらのコメントに気づきました。エフェクトを全く知らない、見えない状態で実験した結果を見てみたいと思いました。AkitomoSato.icon
上達体験がエンタメになっているのが良いですね。seiki.icon
詠唱がないということを考えるとコンテンツ的に超能力とかのほうが向いてるのではないかという疑問も。頭の中で呪文を唱えるというメタファーが認識率に影響与えたりするのか気になる𥱋瀨洋平.icon
メラとメラゾーマは打ち分けできるんですかね🤔 yumu.icon
メラゾーマはオノマトペではない・・・ yumu.icon
メラメラのイメージでコンロの火が付く（あぶない）鈴木一平 (BONSAI STUDIO).icon
「ピカっ」で電気ついて「ホカホカ」で追い焚きとか。家電も動くかもしれない
BCIの解像度というものがどのくらいかはわからないけど、BCIの計測装置が検知できるくらい脳の大部分を使用するということが結構大変そうなイメージがある。Tatsuya NAGASAWA.icon
渡邊恵太.icon
発話イメージ、たとえば母音の内言はあります。
脳内のマルチモーダルアプローチは少なめです。
音系でも、聴覚イメージと発話イメージと別にあります
ちなみに内言研究なら、内言しながらMRI入ってもらって脳波を計測したものはあります。
昨年のデモ発表で音楽聴いた時の脳波の分類に関する発表してます。koike.icon
関西人はコマンドのオノマトペ含有率が高いです。ソノヤマタカスケ.icon
質疑：
視覚的なイメージでは無く、「メラメラ」という単語（音や文字）をイメージした時でも動作しますか？（する/するけど正解率落ちる/しない)
1名の全くコントロールできなかった実験参加者の理由はどういうものだと考えられますか。そういう方はどのくらいの比率で存在するのでしょうかseiki.icon
「メラメラ」「タラタラ」「チラチラ」というような似通った言葉であってもそれぞれがきっちりと分類できるのでしょうか？shugo.icon
繰り返し使っていくと長期的に認識率はもっと上がるのでしょうか。逆に慣れてしまうことで刺激が少なくなり脳波の変化が出にくくなる、ようなことはおきなさそうでしょうか？（ご説明ありましたね）takahiro.hara.icon
オノマトペを想像した時のの脳波をパーソナライズ化していると思いますが、それは人によって脳波結果が違うからでしょうか？FUJIYOSHI Satoko.icon
オノマトペではなく、エフェクトがキーになっているということはないでしょうか？実施前にエフェクトを見たり、ゲームを進行することでエフェクトを覚えたことで成功率が上がった可能性はないでしょうか？AkitomoSato.icon
ロボットの制御やティーチングに応用できそうな気がします。ソノヤマタカスケ.icon
イメージの視覚優位の人、言語優位の人、聴覚優位の人で違いは出ないでんでしょうか？yumu.icon